Diskriminierende Facebook-Anzeigen: KI ist auch keine Lösung

John Albert ist ein Reporter für Technologiepolitik mit Sitz in Berlin. Zuvor arbeitete er bei AlgorithmWatch, wo er über EU-Plattformvorschriften wie den Digital Services Act berichtete. Er hat einen Master-Abschluss in Journalismus von der Columbia University und in Public Policy von der Hertie School.

Das automatisierte Werbesystem auf Facebook ist sehr gut und effizient darin, Nutzer*innen gezielt Anzeigen zu sehen lassen, auf die sie am wahrscheinlichsten klicken werden. Diese Optimierung hat jedoch einen Nachteil: Das System schließt bestimmte Personen davon aus, bestimmte Anzeigen zu sehen, wodurch sich Vorurteile und gesellschaftliche Ungleichheit verstärken können.

Jobanzeigen für Lkw-Fahrer*innen werden auf Facebook zum Beispiel überwiegend Männern angezeigt, weil der Algorithmus festgestellt hat, dass Männer eher auf solche Anzeige klicken. Als AlgorithmWatch in Deutschland auf Facebook versuchsweise eine Anzeige für Lkw-Fahrer schaltete, wurde sie 4.864-mal Männern angezeigt, aber nur 386-mal Frauen.

Auch wenn Werbetreibende auf die explizite Auswahl einer Zielgruppe verzichten, blendet der Algorithmus trotzdem bestimmte Gruppen aus. So eine algorithmische Diskriminierung kann systematisch diejenigen betreffen, die bereits gesellschaftlich benachteiligt sind, was besonders problematisch ist, wenn die jeweiligen Werbetreibenden Arbeitgeber, Vermieter*innen oder Kreditagenturen sind.

Das europäische Recht verbietet Diskriminierung aufgrund bestimmter geschützter Kriterien wie race und Geschlecht. Algorithmische Diskriminierung aufgrund dieser Kriterien ist also illegal. Diskriminierte Personen erkennen allerdings selten, dass ihre Rechte verletzt wurden. Im Fall der Stellenanzeige sehen die diskriminierten Menschen sie ja gar nicht erst. Dementsprechend selten gehen sie auch rechtlich dagegen vor. Meta hat das Problem jahrelang ignoriert, obwohl immer mehr Beweise für eine ungleich verteilte Anzeigenschaltung in den USA und in Europa auftauchten. Dem Unternehmen ist es weitgehend gelungen, sich aus der rechtlichen Verantwortung für die auf seiner Plattform stattfindende algorithmische Diskriminierung zu stehlen.

Deal mit dem US-Justizministerium

Im Juni 2022 änderte sich das, als Meta nach einer Reihe von Klagen der American Civil Liberties Union (ACLU) und anderer Bürgerrechtsgruppen mit dem US-Justizministerium einen Vergleich abschloss. Dieser Vergleich verpflichtete das Unternehmen dazu, dass Wohnungsanzeigen auf der Plattform nicht mehr nur bestimmten Nutzer*innen angezeigt werden.

Meta erklärte sich bereit, das Tool „Special Ad Audiences“ zu entfernen, das Werbetreibende genutzt haben, um indirekt bestimmte Zielgruppen zu erreichen. Meta sollte außerdem ein neues System namens „Variance Reduction System“ (VRS) zum Einsatz bringen. Es sollte dafür sorgen, dass die für Werbeanzeigen eingesetzten Algorithmen für Maschinellen Lernens weniger diskriminierend sind – vor allem was Wohnungsanzeigen und die mit ihnen verbundene geschlechtsbasierte und rassistische Diskriminierung angeht.

Das VRS ist nicht dazu da, Klicks zu optimieren, sondern es soll dafür sorgen, dass bei den geschalteten Anzeigen alle werberelevanten Zielgruppen gleichermaßen genau angesteuert werden. Sobald eine Anzeige von einer bestimmten Anzahl von Nutzer*innen gesehen wurde, bestimmt das VRS deren Alter und Geschlecht und schätzt, wie ihre „ethnische Zugehörigkeit“ (im US-amerikanischen Raum ist es üblich, nach „race“ zu kategorisieren) verteilt ist. Diese Daten vergleicht das VRS dann mit den Daten der potenziellen Zielgruppen und passt die Anzeigenschaltung so an, dass sie gleichmäßig verteilt ist.

Ein Jahr nach der Einigung mit dem US-Justizministerium behauptet die Beratungsfirma Guidehouse in einem von ihr erstellten Compliance-Bericht, dass Metas VRS wie vorgesehen funktioniert. Doch der Bericht hat Lücken, weshalb diese Behauptung schwer zu überprüfen ist. Auch wenn die Zahl diskriminierender Wohnungsanzeigen in den USA tatsächlich eingedämmt wurde: Auf Facebook sind diskriminierende Anzeigen aus anderen Bereichen nach wie vor weit verbreitet; das gilt vor allem für in Europa geschaltete Anzeigen, wo das VRS wahrscheinlich nicht im Einsatz ist.

Metas freiwillige Selbstregulierung mag ein kleiner Sieg für US-Bürgerrechtsgruppen sein. Sie zeigt aber auch, dass Meta die Risiken seines Systems für zielgerichtete Werbung nicht konsequent reduziert. Sie werden unreguliert bleiben, solange Behörden nicht eingreifen.

Was wird geprüft?

Meta hatte Guidehouse (eine Ausgründung der Big-Four-Wirtschaftsprüfungsgesellschaft PwC) damit beauftragt, als unabhängiger Dritter zu überprüfen, ob die Vorgaben für das VRS eingehalten werden. Im ersten Bericht vom Juni 2023 bestätigt Guidehouse, dass Meta die relevanten VRS-Metriken eingehalten habe. Dies gelte demnach für die Kategorien „Geschlecht“ und „race/Ethnizität“ bei Wohnungsanzeigen mit mindestens 300 Anzeigenaufrufen sowie für Wohnungsanzeigen mit mehr als 1.000 Aufrufen.

Der Bericht halte einer externen Überprüfung allerdings nicht stand, sagt Daniel Kahn Gillmor, der für die ACLU zu Datenschutz und Technologie arbeitet. Der Bericht konzentriere sich allzu sehr auf technische Details, während er dennoch nicht alle wichtigen technischen Fragen beantworte. Gillmor bemängelt auch, dass Guidehouse offenbar von Meta keinen Zugang zu den internen Daten erhalten habe, um eine gründliche Prüfung durchzuführen. Stattdessen seien nur die von Meta zur Verfügung gestellten Tabellen überprüft worden – und diese Tabellen ließen entscheidende Informationen aus.

In den Daten wird zum Beispiel nicht aufgeschlüsselt, wie viele Aufrufe jeweils Wohnungsanzeigen hatten, die die Marke von 1.000 Anzeigenaufrufe überschritten. Wir wissen also nicht, ob manche Anzeigen etwa eine Million Mal angezeigt wurden. Meta gibt außerdem nicht an, wie viele Nutzer*innen es gab, denen das System keine „Ethnie“ und kein Geschlecht zuordnen konnte.
Die Kategorien „Geschlecht“ und vor allem „race“ sind ohnehin fragwürdig, da es keine unstrittigen Merkmale wie die Größe oder das Alter sind. Meta selbst hat eingeräumt, dass das statistische Modell, das dem VRS zugrunde liegt, für People of Colour weniger genau sein kann als für Weiße.

Abgesehen von diesen grundsätzlichen Bedenken brauche Meta keine perfekten Konzepte für die Kategorien „Geschlecht“ und „race/Ethnizität“, um das System zur Vermeidung von Diskriminierung einzusetzen, so Gillmor. Die Prüfer*innen dagegen brauchen bessere Daten, um beurteilen zu können, ob das System effektiv ist oder nicht. Und die Prüfer*innen sollten zumindest eine ungefähre Vorstellung davon haben, wie viel Datenmaterial Meta ihnen vorenthält.

„Hier fehlen viele Teile und ich kann nicht sagen, ob Guidehouse sie von Facebook bekommen hat. Als Prüfer würde ich von einer Organisation wie Guidehouse erwarten, dass sie wesentliche Daten einfordert, ohne die eine sinnvolle Prüfung nicht möglich ist.“ Guidehouse solle zumindest dokumentieren, wie groß die Datenlücke ist. Jetzt scheint sie so groß zu sein, dass fraglich ist, ob Metas Daten zum VRS korrekt erhoben wurden. Meta antwortete auf eine zweimalige Bitte um eine Stellungnahme nicht. Guidehouse wollte keinen Kommentar abgeben – man müsse vertrauliche Informationen über Kund*innen schützen.

Was bringt das Ganze?

Muhammad Ali befasst sich als Postdoktorand an der Northeastern University in Boston mit verantwortungsvoller KI. Er ist Mitverfasser eines einflussreichen Papers aus dem Jahr 2019, in dem beschrieben wird, wie die Anzeigenschaltung von Facebook zu voreingenommenen Ergebnissen führen kann. Ali zufolge stecke hinter dem VRS zwar eine große Anstrengung, aber die eigentlichen Probleme der Anzeigen-Optimierung blieben erhalten. „Vom technischen Standpunkt aus gesehen ist es sehr lobenswert, was sie aufgebaut haben“, sagt Ali mit Verweis auf ein Paper, in dem zwölf Meta-Ingenieur*innen detailliert die Methoden hinter dem VRS beschreiben. Es sei ein seltsam komplexes System, das eigentlich nur ein kleines Problem – die Platzierung von Wohnungsanzeigen – lösen soll, nachdem dies gesetzlich vorgeschrieben wurde.

Meta hat angekündigt, das VRS auch bei Kredit- und Stellenanzeigen in den USA anwenden zu wollen. Allerdings, so Ali, sei nicht zu erwarten, dass es ohne einen immensen, technischen Aufwand in absehbarer Zeit auf Länder außerhalb der USA ausgeweitet werden könne. Das VRS beruhe nämlich auf einem Modell, das auf Volkszählungsdaten (wie Adressen und Nachnamen) zugreift, um die „race/Ethnizität“ der Zielgruppen abzuschätzen.

In einem Land wie Indien mit einem Kastensystem gebe es keine Datensätze, um die Zugehörigkeit etwa anhand von Nachnamen zu bestimmen, wie Ali erklärt. Also müssten zuerst solche Daten gesammelt werden, um ein völlig anderes System zu entwickeln. Solche Probleme ließen sich zwar mit dem entsprechenden Aufwand in den einzelnen Ländern beheben, aber es wären immer nur Lösungen für sehr spezielle Fälle.

Neben Stellen-, Wohnungs- und Kreditanzeigen gäbe es Ali zufolge noch eine Reihe von weiteren problematischen Anzeigen. Wenn sich jemand zum Beispiel für Diäten interessiere, könnten dieser Person auf der Plattform viele Werbeanzeigen für Abnehmprodukte angezeigt werden. Wenn sich jemand für Glücksspiele interessiere, sieht diese Person wiederum vielleicht viele Anzeigen für Online-Spielautomaten und Wetten. Wenn es also um gezielte Werbung geht, müssten Menschen mit persönlichen Schwächen wie Suchtproblemen oder Problemen mit ihrem Körperbild geschützt werden, schlussfolgert Ali. Das könne jedoch nicht geschehen, solange das System auf Profit ausgerichtet ist und nicht auf das Wohlergehen der Nutzer*innen.

Was sagen die EU-Verordnungen?

Das neue EU-Gesetz über Digitale Dienste (Digital Services Act, DSA) gilt jetzt für die größten in der EU tätigen Plattformen und Suchmaschinen. Plattformen dürfen keine Werbung mehr schalten, die auf „sensiblen“ Datenkategorien basiert: etwa „race“, Geschlecht, Religion und sexuelle Orientierung. Darüber hinaus sind sie verpflichtet, „systemische Risiken“ zu ermitteln und einzudämmen, die sich aus ihren Diensten ergeben, etwa negative Auswirkungen auf die Grundrechte und das in Artikel 21 der EU-Charta verankerte Diskriminierungsverbot.

Diese Rechtsvorgaben sollten Metas diskriminierende Anzeigenschaltung eigentlich unterbinden. Im Moment scheinen die Organe, die den DSA umsetzen sollen, allerdings mehr damit beschäftigt zu sein, illegale Inhalte über aktuelle Kriege einzudämmen, als sich mit grundsätzlichen Problemen wie algorithmischer Diskriminierung oder potenziellen Gesundheitsrisiken zu befassen, die sich aus der algorithmischen Optimierung des Targetings von Werbezielgruppen ergeben.

Metas Ansatz, um algorithmische Diskriminierung bei der Anzeigenschaltung zu verhindern, wird keinen Einfluss auf die Risiken haben, die das System für zielgerichtete Werbung an sich erzeugt. Das Unternehmen müsste grundlegende Änderungen an seinem werbebasierten Geschäftsmodell vornehmen, um es mit dem Gesetz in Einklang zu bringen. Das betrifft nicht nur den DSA: Der Europäische Datenschutzausschuss hat entschieden, Metas Targeting-Werbepraktiken im Rahmen der Datenschutz-Grundverordnung (DSGVO) zu verbieten. Meta hofft nun, die in der DSGVO geforderte Einwilligung von Nutzer*innen in die Verarbeitung ihrer Daten mit einem werbefreien Abonnement zu erfüllen, bei dem die Nutzer*innen letztlich für ihre Privatsphäre bezahlen.

Für die europäischen Regulierungs- und Aufsichtsbehörden ist es lehrreich, wie Meta mit dem VRS umgeht. Sie werden demnächst eine Reihe von Berichten bewerten, die die Big-Tech-Konzerne eingereicht haben, um zu dokumentieren, wie sie den DSA-Vorschriften nachkommen. Die Prüfungsanforderungen hinsichtlich des VRS unterliegen der US-amerikanischen Aufsicht. Sie ähneln den komplexeren Anforderungen, die im DSA festgelegt sind.

Der DSA schreibt vor, dass die größten in der EU tätigen Technologieplattformen und Suchmaschinen sich jährlich Prüfungen durch unabhängige Instanzen unterziehen müssen. Diese Prüfungsinstanzen werden wie Guidehouse von den Technologieunternehmen selbst beauftragt. Sie sollen einen bevorzugten Zugang zu Daten und Mitarbeiter*innen erhalten, um zu überprüfen, ob die Unternehmen ihrer Verpflichtung nachkommen, systemische Risiken zu erkennen und zu bekämpfen.

Solche Prüfungen systemischer Risiken finden bereits statt. Unklar ist jedoch, wie die Plattformen sie bestimmen, ermitteln und vermeiden wollen. Solange die Regulierungsbehörden keine Leitlinien für die Bewertung der Systemrisiken festlegen, werden die Plattformen den Prüfungsinstanzen also eigene Maßstäbe zur Bewertung ihrer Maßnahmen vorlegen. Die Prüfungen könnten daher mit den Methoden und Standards der Tech-Konzerne weichgespült werden, was ihre Wirksamkeit und Zuverlässigkeit untergraben würde. Die Unabhängigkeit der Prüfungsinstanzen ist ohnehin ein fragiles Gebilde, da solche Prüfungsaufträge für sie lukrativ sind.

Wir brauchen stärkere externe Kontrollen

Unabhängig von den Ergebnissen dieser Risikobewertungen und Audits wird die Öffentlichkeit bald mit Compliance-Berichten von Big-Tech-Unternehmen überrollt werden. Ende Oktober wurde die erste Runde der DSA-Transparenzberichte von einigen der größten Plattformen veröffentlicht. Voraussichtlich Ende nächsten Jahres werden überarbeitete Prüfberichte darüber folgen, wie die Plattformen die Risiken ihrer Systeme bewerten.

Diese Art von Transparenz ist eine gute Hilfe, weil Regulierungs- und Aufsichtsbehörden ebenso wie zivilgesellschaftlichen Organisationen dadurch Informationen erhalten, mit denen sie arbeiten können. Aber das wird viele weiteren Fragen aufwerfen, die angesichts der begrenzten Auskunftsbereitschaft der Plattformen die Grenzen dieser Berichte aufzeigen dürften.
Neben offiziellen Audits (sei es nach US-amerikanischem oder EU-Recht) sind unabhängige, kritische Audits zur Prüfung algorithmischer Plattformsysteme notwendig. Solche Prüfungen sollten von Einzelpersonen und Organisationen durchgeführt werden, die nicht auf der Gehaltsliste von Meta oder einem anderen Big-Tech-Unternehmen stehen. Dann bestünde auch kein Interessenskonflikt für die Prüfer*innen.

Um die Werbesysteme auf Facebook unabhängig prüfen zu lassen, muss Meta Forschung im öffentlichen Interesse erlauben. Es müsste Forscher*innen außerdem erlauben, pseudonyme Konten einzurichten, um sogenannte „Sockenpuppen“-Audits durchzuführen. Dabei wird getestet , was normalen Nutzer*innen bei einem bestimmten Online-Verhalten angezeigt wird. Facebook müsste Forscher*innen außerdem erlauben, Datenspenden von echten Nutzer*innen zu sammeln. In der Vergangenheit reagierte Meta aber mit Einschüchterungstaktik auf Projekte, die solche Methoden eingesetzt haben, was dazu führte, dass diese Projekte abgebrochen werden mussten.

Der DSA könnte solche Forschungsprojekte schützen, indem er einen rechtlichen Rahmen für den Zugang zu Plattformdaten einführt, doch dieser Prozess dauert noch an. Die Europäische Kommission muss die Details dazu noch in einer sogenannten delegierten Verordnung ausarbeiten, die Anfang nächsten Jahres stattfinden soll. Allerdings würde selbst solch ein Rechtsrahmen nicht verhindern, dass die großen Plattformbetreiber Forscher*innen verklagen können, deren Ergebnisse ihnen nicht gefallen.

Es ist also mit großen Problemen verbunden, Forschung im öffentlichen Interesse zu stärken. Wir brauchen eine solche Forschung allerdings, um Big Tech für Risiken zur Rechenschaft zu ziehen, die in den selbstständig eingereichten Transparenzberichten möglicherweise nicht auftauchen. Solange keine besseren Bedingungen für eine Forschung im öffentlichen Interesse bestehen, werden die Plattformkonzerne in den Compliance-Berichten einfach selbst erklären, dass sie die DSA-Vorschriften gut einhalten. Ihre Sicht der Dinge ersetzt aber keine neutrale Bewertung.